Các vật dụng bằng sắt có niên đại lớn hiếm hơn các vật dụng làm bằng vàng hay bạc do tính dễ ăn mòn của sắt.[10] Những hạt là từ sắt thiên thạch năm 3500 TCN hoặc sớm hơn được G. A. Wainwright tìm thấy ở Gerzah, Ai Cập.[11] Các hạt chứa 7,5% niken, là một dấu hiệu về nguồn gốc thiên thạch vì sắt được phát hiện trong vỏ Trái Đất có rất ít hoặc không có thành phần niken. Sắt thiên thạch có chất lượng cao do nguồn gốc của nó từ vũ trụ và thường được dùng làm vũ khí và các dụng cụ hoặc các mẫu vật được đặt trong các nhà thờ.[11] Các vật dùng có thể làm từ sắt bởi những người Ai Cập có tuổi khoảng 3000 đến 2500 TCN.[10] Sắt có lợi thế hơn đồng trong việc làm dụng cụ chiến tranh. Nó cứng hơn và bền hơn đồng, mặc dù dễ bị rỉ sét. Trevor Bryce cho rằng trước khi công nghệ rèn sắt tiến bộ được phát triển ở Ấn Độ, các vũ khí làm từ sắt thiên thạch đã được sử dụng bởi quân đội Mesopotamia trước đó đã chiếm ưu thế trong chiến đấu do dùng hàm lượng cacbon cao.[12]

Những dấu hiệu đầu tiên về việc sử dụng sắt là ở những người Sumeria và người Ai Cập vào khoảng 4000 năm TCN, các đồ vật nhỏ như mũi giáo và đồ trang trí, đã được làm từ sắt lấy từ các thiên thạch. Vì các thiên thạch rơi từ trên trời xuống nên một số nhà ngôn ngữ học phỏng đoán rằng từ tiếng Anh iron, là từ có cùng nguồn gốc với nhiều ngôn ngữ ở phía bắc và tây châu Âu, có xuất xứ từ tiếng Etruria aisar có nghĩa là "trời".

Vào khoảng những năm 3000 đến 2000 Trước Công Nguyên (TCN), đã xuất hiện hàng loạt các đồ vật làm từ sắt nóng chảy (phân biệt rõ với sắt từ thiên thạch do thiếu niken trong sản phẩm) ở Lưỡng Hà, Anatolia và Ai Cập. Tuy nhiên, việc sử dụng chúng có lẽ là thuộc về hình thức trong tế lễ, và sắt đã từng là kim loại rất đắt, hơn cả vàng. Trong Illiad, các vũ khí chủ yếu làm từ đồng thau, nhưng các thỏi sắt đã được sử dụng trong buôn bán. Một số nguồn (xem phần tham khảo Cái gì tạo ra thời đại đồ sắt? dưới đây) cho rằng sắt được tạo ra khi đó như sản phẩm đi kèm của việc tinh chế đồng, như là những bọt sắt, và không được tái sản xuất bởi ngành luyện kim khi đó. Vào khoảng năm 1600 đến 1200 TCN, sắt đã được sử dụng nhiều hơn ở Trung Cận Đông, nhưng vẫn chưa thay thế được sự thống trị của đồng thau.

Trong thời kỳ từ thế kỷ XII đến thế kỷ X TCN, đã có sự chuyển đổi nhanh chóng từ công cụ, vũ khí đồng thau sang sắt ở Trung Cận Đông. Yếu tố quyết định của chuyển đổi này không phải là sự xuất hiện của các công nghệ luyện sắt cao cấp hơn mà là sự cạn kiệt của các nguồn cung cấp thiếc. Thời kỳ chuyển đổi này diễn ra không đồng thời trên thế giới, là dấu hiệu cho thời kỳ văn minh mới được gọi là Thời đại đồ sắt.

Cùng với việc chuyển đổi từ đồng thau sang sắt là việc phát hiện ra quy trình cacbua hóa, là quy trình bổ sung thêm cacbon vào sắt. Sắt được thu lại như bọt sắt, là hỗn hợp của sắt với xỉ với một ít cacbon và/hoặc cacbua, sau đó nó được rèn và tán phẳng để giải phóng sắt khỏi xỉ cũng như ôxi hóa bớt cacbon, để tạo ra sắt non. Sắt non chứa rất ít cacbon và không dễ làm cứng bằng cách làm nguội nhanh. Người Trung Đông đã phát hiện ra là một số sản phẩm cứng hơn có thể được tạo ra bằng cách đốt nóng lâu sắt non với than củi trong lò, sau đó làm nguội nhanh bằng cách nhúng vào nước hay dầu. Sản phẩm tạo thành có bề mặt của thép, cứng hơn và ít gãy hơn đồng thau, là thứ đang bị thay thế dần.

Ở Trung Quốc, những đồ vật bằng sắt đầu tiên được sử dụng cũng là sắt lấy từ thiên thạch, các chứng cứ khảo cổ học về các đồ vật làm từ sắt non xuất hiện ở miền tây bắc, gần Tân Cương trong thế kỷ VIII TCN. Các đồ vật làm từ sắt non có cùng quy trình như sắt được làm ở Trung Đông và châu Âu, và vì thế người ta cho rằng chúg được nhập khẩu bởi những người không phải là người Trung Quốc.

Trong những năm muộn hơn của nhà Chu (khoảng năm 550 TCN), khả năng sản xuất sắt mới đã bắt đầu vì phát triển cao của công nghệ lò nung. Sản xuất theo phương pháp lò nung không khí nóng có thể tạo ra nhiệt độ trên 1300 K, người Trung Quốc bắt đầu sản xuất gang thô và gang đúc.

Nếu quặng sắt được nung với cacbon tới 1420–1470 K, một chất lỏng nóng chảy được tạo ra, là hợp kim của khoảng 96,5% sắt và 3,5% cacbon. Sản phẩm này cứng, có thể đúc thành các đồ phức tạp, nhưng dễ gãy, trừ khi nó được phi-cacbua hóa để loại bớt cacbon. Phần chủ yếu của sản xuất sắt từ thời nhà Chu trở đi là gang đúc. Sắt, tuy vậy vẫn là sản phẩm thông thường, được sử dụng bởi những người nông dân trong hàng trăm năm, và không có ảnh hưởng đáng kể đến diện mạo của Trung Quốc cho đến tận thời kỳ nhà Tần (khoảng năm 221 TCN).

Việc sản xuất gang đúc ở châu Âu bị chậm trễ do các lò nung chỉ có thể tạo ra nhiệt độ khoảng 1000 K. Trong thời Trung cổ, ở Tây Âu sắt bắt đầu được làm từ bọt sắt để trở thành sắt non. Gang đúc sớm nhất ở châu Âu tìm thấy ở Thụy Điển, trong hai khu vực là Lapphyttan và Vinarhyttan, khoảng từ năm 1150 đến 1350. Có giả thuyết cho rằng việc sản xuất gang đúc là do người Mông Cổ thông qua nước Nga truyền đến các khu vực này, nhưng không có chứng cứ vững chắc cho giả thuyết này. Trong bất kỳ trường hợp nào, vào cuối thế kỷ14 thì thị trường cho gang đúc bắt đầu được hình thành do nhu cầu cao về gang đúc cho các súng thần công.

Việc nung chảy sắt thời kỳ đầu tiên bằng than củi như là nguồn nhiệt và chất khử. Trong thế kỷ XVIII, ở Anh việc cung cấp gỗ bị giảm xuống và than cốc, một nhiên liệu hóa thạch, đã được sử dụng để thay thế. Cải tiến của Abraham Darby đã cung cấp năng lượng cho cuộc cách mạng công nghiệp.